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В методе поиска глобального минимума Вітиіаіесі Аппеаііпд предложено использовать бинормальное распределение плотно- 
сти вероятности следующего шага, моды которого смещены относительно текущего локального минимума, а расстояние между 
ними и дисперсии функционально связаны с искусственной температурой. Показана эффективность реализаций подхода с по- 
мощью численных расчетов. 


Метод поиска глобального минимума, извест- 
ный в литературе под названием $іти1аІесі Аппеаііпд 
(8А), или метод «имитации отжига» применяется 
при построении математических моделей и реше- 
ния сложных оптимизационных задач в нейроком- 
пьютерной технике, нефтегазогеологии, микро- 
электронике, микробиологии, ядерной физике и др. 
[1-5]. Метод $А, предложенный Киркпатриком в 
1982 г. [6] , имеет различные алгоритмические реали- 
зации, некоторые из которых включены в такие из- 
вестные вычислительные пакеты, как Маіііетаііса 
ЫМтшше, 8ТАТІ8ТІСА ІЧеигаІ Ыеіѵ/огкх и ряд дру- 
гих. Главным его достоинством является теоретиче- 
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ское доказательство сходимости к глобальному ми- 
нимуму при использовании распределения Боль- 
цмана [1]. Однако практический сравнительный 
анализ методов глобальной оптимизации показал, 
что метод $А является наиболее «хрупким», т. е. за- 
метно зависит от выбранных параметров поиска и 
нуждается в дополнительной настройке [6]. Так, на- 
пример, в работе [7] утверждается, что не существу- 
ет универсального по эффективности алгоритма для 
разных задач глобальной оптимизации и задача их 
разработки и модификации остается открытой. 

Целью работы автора является создание эффек- 
тивных инструментальных средств настройки па- 
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раметров метода 8А, а в данной статье публикуют- 
ся первые результаты модификации алгоритма, на- 
правленной на повышение его эффективности. 
Поставленная цель достигается путем уточнения 
аналогии оптимизационного метода §А с есте- 
ственным процессом, послужившим основанием 
для его разработки. 

Метод $А базируется на аналогии с физическим 
процессом кристаллизации металла при постепен- 
ном переходе из жидкой фазы в твердую, в резуль- 
тате которого достигается глобальный минимум 
энергетического состояния (энтропии). Как извест- 
но, при стремлении температуры любой равновес- 
ной термодинамической системы к абсолютному 
нулю ее энтропия стремится тоже к нулю (третье 
начало термодинамики). Однако аморфные тела не 
относятся к равновесным системам, поэтому их ко- 
нечная энтропия при понижении температуры за- 
висит от того, как производится сам процесс охлаж- 
дения. В природе и в человеческой деятельности 
есть образцы такого «удачного» понижения энтро- 
пии, например: кристаллизация атомов углерода 
при образовании алмаза, секреты дамасской стали. 
Хотя из третьего начала термодинамики следует не- 
достижимость температуры, равной абсолютному 
нулю, для практического охлаждения термодина- 
мической системы до некоторой минимальной тем- 
пературы рекомендуется чередовать изотермиче- 
ское сжатие и адиабатическое расширение. При 
первом процессе происходит отвод теплоты, а при 
втором - уменьшение температуры системы. 

Особое значение в этом процессе имеет ско- 
рость охлаждения, поскольку из теории кристалли- 
зации известно, что если металл очень сильно пе- 
реохладить, то число центров и скорость роста кри- 
сталлов равны нулю, жидкость не кристаллизуется, 
образуется аморфное тело. Продолжая эту анало- 
гию на молекулярно-атомный уровень, следует от- 
метить, что атомы имеют дискретный энергетиче- 
ский спектр, т. е. каждый атом может принимать 
только определенные энергетические состояния, 
ограниченные потенциальными барьерами. Поэ- 
тому быстрая потеря его энергии может привести к 
тому, что он останется в более высоком энергетиче- 
ском состоянии из-за невозможности преодолеть 
потенциальный барьер. Распределение энергети- 
ческих уровней описывается известным соотноше- 
нием: 

Р(е) = Аехр^^Х (1) 

где Р(е) - вероятность того, что система находится 
в состоянии с энергией е, к — постоянная Больцма- 
на, Т - температура по шкале Кельвина, А - нор- 
мировочный коэффициент. 

Таким образом, по мере снижения температуры 
вероятность высокоэнергетических состояний 
снижается, и при приближении температуры к ну- 
левой достигается глобальный минимум энергети- 
ческого состояния. 


В терминах оптимизационного алгоритма это 
означает обеспечение выхода из текущей ловушки 
локального минимума, и не возвращение в пред- 
ыдущую ловушку. Для этого, как минимум, необхо- 
димо разрешать движение даже в том направлении, 
где целевая функция возрастает, но с некоторыми 
ограничениями. На практике это реализуется с по- 
мощью распределения вероятности принятия сле- 
дующего шага, аналогичной приведенному выше 
распределению Больцмана (1): 


Рц к = ехр 


/(*,•)-/(*,■) 


( 2 ) 


где Р і]к - вероятность перехода при данном Т к из і - й 
точки пространства поиска в у'-ю, если значение це- 
левой функции / возросло, Т к - искусственная тем- 
пература, которую необходимо снижать на к - м шаге. 

Каждый пробный шаг по пространству коорди- 
нат поиска генерируется случайно по некоторому 
закону (Больцмана, Коши, Гаусса) [1]. Однако эти 
алгоритмы обладают очень низкой скоростью схо- 
димости и для практического применения требует- 
ся их модификация. 

Так, естественным выглядит аналогия оптими- 
зационного алгоритма и процесса кристаллизации. 
На наш взгляд, каждый локальный минимум целе- 
вой функции следует рассматривать как отдельный 
атом. Область в пространстве координат вокруг 
этого минимума, где целевая функция не убывает, 
можно считать зоной действия, потенциальной 
ямой или «ловушкой» локального минимума, а 
расстояние от центра до границы зоны можно со- 
отнести с местоположением потенциального 
барьера атома. Тогда размер следующего шага, ге- 
нерируемого алгоритмом, целесообразно связать 
аналогией с кинетической энергией атома, которая 
в свою очередь связана с температурой по соотно- 
шению (1) или с искусственной температурой по 
соотношению (2). В этом случае порядок снижения 
температуры должен быть таким, чтобы каждый 
атом имел достаточно энергии для преодоления 
потенциального барьера и перехода в более низко- 
энергетическое состояние, но недостаточно энер- 
гии для возврата в более высокоэнергетическое со- 
стояние, что и обеспечит выход из текущей ловуш- 
ки локального минимума. 

В настоящей работе исследовано на примерах и 
предложено: 

1 . Генерировать пробный шаг по пространству ко- 
ординат поиска с использованием бинормаль- 
ного распределения плотности вероятности 
(два распределения Гаусса, моды которых сме- 
щены влево и вправо относительно текущего 
локального минимума). 

2. Расстояние между модами бинормального ра- 
спределения и их дисперсии сделать функция- 
ми искусственной температуры. При пониже- 
нии температуры эти центры должны сближать- 
ся, а дисперсии уменьшаться. В итоге центры 


117 




Известия Томского политехнического университета. 2006. Т. 309. № 7 


будут сливаться в одно нормальное распределе- 
ние в области, определенной как зона глобаль- 
ного минимума. 

Двухмодальность бинормального распределе- 
ния, центр которого расположен в текущем ло- 
кальном минимуме, даст для самого процесса по- 
иска несколько преимуществ. Во-первых, наиболее 
вероятный шаг будет смещен от точки текущего ло- 
кального минимума (влево и вправо), что более со- 
ответствует приведенной выше физической анало- 
гии. Это должно обеспечивать более быстрый вы- 
ход из ловушки текущего локального минимума и 
переход в зону другого, т. к. за счет двухмодально- 
сти снижена вероятность шагов вблизи локального 
минимума, которые фактически являются излиш- 
ними, если текущий минимум не окажется гло- 
бальным. Во-вторых, функциональная зависи- 
мость расстояния между модами от искусственной 
температуры также более соответствует приведен- 
ной выше физической аналогии и позволит учиты- 
вать вид самой целевой функции. 

В математической форме вид предлагаемого би- 
нормального распределения представлен ниже: 


ПХ]) 8 ^ 


ехр 


25, 2 


, если X < X; (3) 


ПХ :> ). 


5,Ѵ2тг 


ехр 


(Х-М г ) 
2 5 2 




, если X > X.; (4) 


5, =7- (ГД 8 1 =Р 1 {Т к ), (5) 

М х =Х і -с1 1 Т к , М 2 =Х І +В 2 Т к , (6) 

Т 0 >Т г >т 2 >...>т к >...>Т г =0, (7) 

где Х і - текущая точка в пространстве координат по- 
иска, в которой находится центр бинормального ра- 
спределения плотности вероятности следующего ша- 
га Р(Х)\ Х і - следующая точка, в которую с некоторой 
вероятностью будет перемещен центр бинормально- 
го распределения; М ъ М 2 — математические ожида- 
ния; 5], В 2 - дисперсии нормальных распределений, 
составляющих бинормальное, которые являются не- 
которыми функциями Р и Р 2 от искусственной темпе- 
ратуры Т к ; сІ ь й г — коэффициенты смещения мод би- 
нормального распределения относительно центра. 

В случае возрастания значения целевой функ- 
ции после генерации Х 2 вопрос о переходе в нее из 
точки ^ решается по-прежнему с помощью распре- 
деления (2). Наличие функциональных зависимо- 
стей (5), (6) параметров распределения плотности 
вероятности следующего шага от искусственной 
температуры позволяют говорить о его адаптивно- 
сти по ходу поиска. 

На рис. 1 представлен примерный графический 
вид адаптивного бинормального распределения по 
одной координате в начале (а), середине ( Ь ) и в 
конце поиска (с) на примере одной из тестовых це- 
левых функций. 


Бинормальное распределение легко обобщает- 
ся и на многокоординатный поиск, например, для 
двух координат его примерный вид представлен на 
рис. 2. 

Таким образом, адаптивность плотности ра- 
спределения вероятности следующего шага обес- 
печивается предварительной настройкой и функ- 
циональным изменением по ходу поиска следую- 
щих параметров: искусственная температура, рас- 
стояние между модами бинормального распределе- 
ния, дисперсии нормальных распределений, соста- 
вляющих бинормальное по каждой координате. 

Для исследования предлагаемого алгоритма и 
сравнения его с иными реализациями метода 8А (с 
равномерным и нормальным распределениями) в 
математическое описание (3)— (7) были внесены 
условия симметрии бинормального распределе- 
ния, прямой пропорциональности дисперсий ис- 
кусственной температуре и пропорционального 
снижения самой искусственной температуры через 
заданное число шагов: 

В І =В 2 =В 0 ,8 1 =8 2 = а 0 Т к , Т к+] = і 0 Т к , 0 < ( 0 < 1 , ( 8 ) 

где В 0 , % ? 0 - некоторые константы для одного ци- 
кла поиска, которые являются настроечными пара- 
метрами алгоритма и зависят от вида целевой 
функции. 

Для реализации алгоритма (2)-(8) была написа- 
на специальная программа пошагового выполне- 
ния и наблюдения за ходом поиска с помощью гра- 
фиков и таблиц [8]. Наблюдение и сравнение трех 
реализаций метода $А выполнялось на нескольких 
тестовых целевых функциях вида: 

_ х 2 + а 5Іп Ъх 

Эти функции имеют бесконечное множество 
локальных минимумов, несколько из которых до- 
статочно близки и являются ловушками для любо- 
го алгоритма поиска глобального минимума. Чи- 
сленные исследования проводились для различных 
сочетаний коэффициентов а,Ъ,с и показали при- 
мерно подобные результаты. В качестве характер- 
ного примера в таблице приведены результаты для 
набора коэффициентов я=1, Ь= 5, с=5. Тестовая 
функция при этом имеет глобальный минимум в 
точке дг= — 0,29083932 с точностью до ЮЛ 

Очевидно, что зависимость результатов поиска 
от начальной искусственной температуры остается 
для всех рассмотренных реализаций метода. Одна- 
ко при использовании бинормального распределе- 
ния вероятность попадания в ловушку локального 
минимума ниже, чем для нормального распределе- 
ния, алгоритм реализации которого при начальной 
искусственной температуре 200 попадал и не выби- 
рался из ловушки локального минимума. 

Из таблицы видно, что алгоритм реализации 
метода 5А с равномерным распределением требует 
значительно большего количества шагов, чем при 
реализации методов, основанных на нормальных 
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Рис. 1 . Пример адаптивного бинормального распределения плотности вероятности следующего шага (1) при поиске глобаль- 
ного минимума целевой функции (2) 

распределениях для обеспечения сопоставимой с температуре 800 для заданной выше тестовой целе- 
ними погрешности поиска. Преимущество бинор- вой функции). Это объясняется значительным 
мального распределения по сравнению с нормаль- снижением количества вычислений значений це- 
ным при поиске глобального минимума заметно левой функции для генерируемых шагов вблизи те - 
проявляется при больших количествах заданных кущих локальных минимумов, которые, по сути, 
шагов (например, при начальной искусственной являются холостыми шагами. Поэтому, чем больше 
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Рис. 2. Пример двухмерного (координаты Х,Х 2 ) бинормального распределения плотности вероятности следующего шага 

Р(Х,:Л.) 


Таблица. Результаты поиска глобального минимума мето- 
дом 5 А с различными распределениями плотно- 
сти вероятности следующего шага 



Начальная 

Коли- 

Найденная 

Относитель- 

Распределение 

"температу- 

чество 

точка ми- 

ная погреш- 


ра" 

шагов 

нимума 

ность, % 

Равномерное 

400 

65 

-0,25524 

12,24 

1800 

402 

-0,27776 

4,49 


200 

35 

-1,45146 

399,05* 

Нормальное 

400 

65 

-0,28331 

2,59 


800 

130 

-0,29512 

1,47 


200 

35 

-0,27981 

3,79 

Бинормальное 

400 

65 

-0,28442 

2,21 


800 

130 

-0,29139 

0,19 


* ловушка локального минимума 


локальных минимумов будет иметь целевая функ- 
ция в области поиска, тем больше будет выигрыш в 
скорости поиска (при заданной погрешности) или 
в точности поиска (при заданном количестве ша- 
гов) предлагаемого алгоритма реализации метода 
$А с адаптивным бинормальным распределением. 


Выводы 

1. Показана возможность повышения эффектив- 
ности поиска глобального минимума целевых 
функций методом 8іти1аіес1 Аппеа1іп§ за счет 
применения адаптивного бинормального ра- 
спределения плотности вероятности следующе- 
го шага поиска по сравнению с нормальным и 
равномерным распределениями. 

2. Показано, что предложенный подход снижает 
погрешность поиска при заданном количестве 
шагов или уменьшает их количество при сопо- 
ставимой погрешности за счет уменьшения ко- 
личества вычислений целевой функции вблизи 
локальных минимумов. 

3. Расчетами установлено, что за счет специфики 
формы предложенного распределения наблю- 
дается снижение количеств попаданий алгорит- 
ма поиска в ловушки локальных минимумов по 
сравнению с нормальным распределением 
плотности вероятности следующего шага. 
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